Selain rangkaian kereta api yang luas, Jepun mempunyai sebilangan besar sistem kereta api bawah tanah. Paling besar adalah kereta api bawah tanah Tokyo, di mana rangkaian pada tahun 1989 terdiri daripada landasan sepanjang 211 kilometer yang melayani 205 stesen. Dua sistem kereta bawah tanah melayani ibu kota: satu dikendalikan oleh Tokyo Metro (sebelum ini bernama Teito Rapid Transit Authority hingga 2004), dengan sembilan laluan (paling tua iaitu laluan Ginza yang dibina pada tahun 1927), dan empat laluan lain oleh Biro Pengangkutan pemerintah metropolitan Tokyo (Toei). Kawasan terpencil dan pinggir bandar dilayan oleh tujuh syarikat kereta api swasta yang laluannya bersilang di stesen utama dengan sistem kereta bawah tanah. Lebih daripada enam puluh kilometer kereta bawah tanah tambahan dalam pembinaan pada tahun 1990 oleh kedua-dua syarikat itu.

Terdapat sebilangan besar sistem metro lain di bandar-bandar Jepun yang lain, termasuk Kereta Api Bawah Tanah Fukuoka, Kereta Api Bawah Tanah Kobe, Kereta Api Bawah Tanah Perbandaran Kyoto, Osaka Metro, Kereta Api Bawah Tanah Nagoya, Kereta Api Bawah Tanah Nagoya Sapporo, Kereta Api Bawah Tanah Sendai dan Kereta Api Bawah Tanah Yokohama.

Walaupun sistem metro di bandar-bandar Jepun biasanya dikendalikan oleh pemerintah kota dan oleh kerana cenderung untuk membatasi rangkaian mereka di dalam sempadan bandar, terdapat banyak kes melalui perkhidmatan menggunakan kereta api bawah tanah di landasan kereta api pinggir bandar dan sebaliknya. Salah satu sebab untuk keadaan ini adalah peningkatan pesat penumpang di landasan kereta api dalam pertumbuhan pesat ekonomi pasca perang yang tidak dapat ditangani oleh terminal keretapi asli kecil di pusat bandar.

Transit laluan automatik (kereta bermotor getah berjalan di jalan konkrit) juga telah berkembang di Jepun. Bandar dengan sistem transit kapasiti perantaraan seperti Hiroshima, Kobe, Osaka, Saitama dan Tokyo.

Beberapa bandar menggunakan sistem kereta api, termasuk Hiroshima, Matsuyama, Nagasaki, Tokyo (satu laluan sahaja) dan Toyohashi. Semua bandar ini juga dilayan dengan baik oleh jalan raya awam dan swasta; juga, ada jalan trem peribadi yang tidak termasuk di atas.